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摘 要 : 控制 系统 能 衔接 、 集 成 和 管理 射电 望远镜 的 软 硬 件 系 统 。 控 制 系 统 中 的 序列 化 
工具 可 将 射电 望远镜 中 不 同 设备 、 操作 系 统 、 编 程 语言 和 网 络 之 间 传 输 的 信息 进行 编码 和 解 
码 ， 增 强 系 统 之 间 数 据 的 传输 效率 。 本 文 分 析 和 比较 了 三 款 二 进 制 序列 化 工具 Msgpack、 
Protobuf 和 Flatbuffers 的 编码 原理 及 特性 ， 并 通过 一 个 实例 测试 了 它们 的 序列 化 数据 大 小 、 序 
列 化 时 间 和 CPU 利用 率 。 结 果 表 明 ，Msgpack 的 综合 性 能 优 于 Protobuf 和 Flatbuffers， 适 用 于 
周期 长 、 需 求 易 变 的 射电 望远镜 系统 之 间 传 输 信 息 的 编码 和 解码 。 
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0 引言 1 


射电 望远镜 是 射电 天 文 研究 的 基石 ， 它 由 天 线 、 接 收 机 、 终 端 、 监 测 和 控制 等 系统 组 成 。 
它们 中 具有 连接 、 集 成 和 管理 功能 的 控制 系统 为 射电 望远镜 的 重要 组 成 部 分 四。 其中， 数据 
交换 是 控制 系统 的 基本 功能 之 一 , 在 望远镜 控制 与 多 终端 数据 交换 中 , 在 保证 稳定 可 靠 的 同 
兼备 高 效 与 通用 。 对 于 将 在 新 疆 奇 台 县 建设 的 QTT〈 奇 台 110 米 射电 望远镜 ) ， 各 设备 之 
间 通 信和 数据 大 小 由 观测 波段 和 观测 模式 决定 。 它 们 之 间 的 单 次 数据 通信 和 量 一 般 小 于 1KB。 天 
线 伺服 控制 的 数据 通信 和 最 频繁 ， 它 的 数据 交换 频率 约 为 20Hz， 单 次 数据 交换 大 小 约 200B; 
其 它 设备 的 数据 交换 频率 约 为 IHz。 主 动 面 运行 时 ， 它 的 数据 通信 和 量 约 10KB; 电磁 监测 的 
数据 通信 量 一般 为 1OKB 一 100KB 。QTT 控 制 系统 拟 采 用 分 布 式 架 构 ， 各 子 系统 之 间 的 数据 
交换 包含 多 种 方式 ， 如 ，Linux、Windows、VxWorks、Unixz 和 骸 入 式 等 系统 之 间 的 信息 传 
输 ， 网 络 的 大 端 模式 与 机 器 的 小 端 模式 之 间 的 信息 传输 :C++ 与 Python 之 间 的 信息 交换 等 。 
其 中 ， 大 端 模式 的 机 器 与 小 端 模 式 的 机 器 传输 信息 时 ，long 类 型 数据 的 前 后 字 节 会 互 换 。 为 
了 解决 系统 之 间 传 输 信息 的 数据 交换 格式 问题 ,序列 化 工具 将 射电 望远镜 系统 之 间 的 传输 信 
县 编码 为 统一 格式 。 因 此 , 序列 化 工具 作为 控制 系统 传输 信息 格式 的 基础 ， 可 实现 射电 望 远 
镜 软 硬件 系统 之 间 的 信息 传输 。 

现 有 的 射电 望远镜 控制 系统 大 多 使 用 序列 化 技术 中。 如 ，ALMA 的 控制 系统 架构 结合 文本 
序列 化 工具 XML 作 为 控制 系统 传输 信息 编码 和 解码 的 基础 中 ASKAP 监 视 和 控制 系统 使 用 
网 络 通信 引擎 ACE) 提供 的 序列 化 技术 ， 完 成 不 同 射电 望远镜 硬件、 软件 等 系统 之 间 传 输 
信息 格式 外 。GMRT 监 视 和 控制 系统 以 Tango 控 制 系 统 为 基础 ， 结 合 XML 实 现 系统 传输 信息 
的 编码 和 解码 丫 。 为 了 解决 望远镜 控制 系统 之 间 的 信息 传输 格式 问题 ， 邓 辉 等 人 提出 了 以 通 
信 中 间 件 ZeroMQ 和 文本 序列 化 工具 JSON 为 望远镜 自动 控制 系统 的 通信 框架 四 。 

对 于 序列 化 工具 中 ，XML 和 JSON 是 文本 型 序列 化 工具 ， 它 们 被 广泛 应 用 于 互联 网 软件 系 
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统 , 以 及 早期 里 电 望 远 镜 控 制 系 统 的 应 用 层 与 服务 层 之 间 的 数据 交换 。 在 射电 望远镜 控制 系 
统 的 使 用 中 ， 发 现 XML 和 JSON 存 在 一 些 不 足 ， 如 内 存 使 用 率 高 、 数 据 类 型 精度 易 缺 失 、 难 
以 实现 底层 设备 驱动 程序 与 服务 之 间 的 数据 交换 趾 。 于 是 实验 物理 装置 、 射 电 望远镜 等 底层 
与 服务 层 之 间 的 通信 逐渐 被 二 进 制 序 列 化 工具 Msgpack、Protobuf、Flatbuffers* ”1 所 替代 ， 

它们 可 以 更 好 地 解决 数据 精度 缺失 、 底 层 与 服务 层 之 间 的 数据 交换 效率 等 问题 。 本 文 着 重 分 
析 Msgpack、Protobuf 和 Flatbuffers 三 款 二 进 制 序列 化 工具 的 编码 原理 、 特 性 ， 通 过 测试 、 比 
较 和 分 析 它 们 的 序列 化 数据 大 小 、 序 列 化 时 间 和 CPU 利用 率 ， 兼 顾 底层 、 服 务 层 和 应 用 层 ， 
选择 适合 射电 望远镜 控制 系统 的 序列 化 工具 ， 以 提高 控制 系统 的 信息 传输 效率 ,保证 射电 望 
远 镜 系统 信息 传输 格式 的 统一 性 和 兼容 性 。 


1 序列 化 工具 


序列 化 工具 由 编码 《〈 又 称 序 列 化 ) 和 解码 《〈 又 称 反 序列 化 ) 构成 。 序 列 化 是 将 结构 化 数 
据 (或 对 象 ) 编码 为 字 节 流 ; 反 序列 化 则 是 将 字 菠 流 还 原 成 原始 的 结构 化 数据 《或 对 象 ) 。 


L 使 用 序列 化 工具 构建 射电 望远镜 控制 系统 时 ， 需 分 析 它 的 编码 原理 和 特性 。 不 同 的 编码 
> 方式 会 影响 序列 化 数据 大 小 、 序 列 化 时 间 、CPU 利 用 率 等 。 本 章 后 续 部 分 将 以 图 1 的 JSON 数 
OO 据 为 例 来 分 析 Msgpack、Protobuf 和 Flatbuffers 它 们 的 编码 原理 。 

O 了 

par “names” : "zhang", 

O "num" : 1331, 

© "descript” : “inthefirstnicks” 

~ 图 1 JSON 格式 示例 

N Fig. 1 An example of JSON schema. 

= 1.1 Msgpack 


Msgpack ( X#KMessagePack) 是 一 球 文 持 多 语言 、 跨 平台 ， 具 有 动态 编译 的 二 进 制 序列 
化 工具 , 编码 对 象 (或 结构 化 数据 ) 之 后 的 字 节 流 具 有 紧 竣 、 简 洁 的 特点 。 字 节 流 由 头 字 节 、 
前 绥 字 节 和 数据 字 节 构成 。 头 字 节 表示 之 后 紧 跟 的 数据 类 型 和 类 型 个 数 ; 前 级 字 节 表示 其 后 
的 数据 类 型 ， 数据 字 节 表示 对 象 的 内 容 ， 如 基本 类 型 bin、float、uint， 结 构 化 类 型 str、array、 


a 


r= map 和 扩展 类 型 ext、fixext 等 。 其 中 ， 学 符 串 str 不 使 用 任何 标记 《或 任何 转 义 字符 ) 表示 内 
© 容 结束 。Msgpack 的 编码 方式 包括 两 种 : 


第 一 种 方式 使 用 Msgpack 编 码 key-value 值 (这 种 方式 简写 为 MSGP-M) ， 需 先 对 key 值 编 
人 码 ， 再 编码 value 值 。 
图 2 和 图 3 分 别 表示 MSGP-M 编 码 图 1 的 JSON 数 据 之 后 的 逻辑 图 和 字 节 流 图 。 逻辑 图 为 编码 
之 后 的 数据 表示 形式 ; 字 节 流 图 则 是 编码 之 后 各 字 节 的 先后 顺序 ， 如 83 为 第 一 个 字 节 。 字 节 
流 由 7 部 分 组 成 : 1) 第 1 个 字 节 (83〉 的 前 四 位 (1000)〉 表示 编码 的 数据 类 型 为 map， 后 四 
位 (0011) 表明 之 后 包含 3 个 map 对 象 ，2) 第 2 个 字 节 为 第 一 个 map 对 象 中 key 值 的 前 级 字 节 
CA5) , 表明 后 续 包含 5 个 str 对 象 。 第 3 至 7 个 字 节 以 ASCII 码 表示 map 对 象 中 的 key 值 “names”; 
3) 第 8 个 字 节 (A5) 表示 后 续 包 含 5 个 字符 串 。 第 9-13 个 字 节 使 用 ASCII[ 码 表示 字符 串 “zhang”; 
4) 第 14 个 字 节 表示 第 二 个 map 对 象 中 key 值 的 前 绥 字 节 (A3) ， 表 明 后 续 包 含 3 个 字符 串 。 
第 15-17 个 字 节 以 ASCII 码 表示 字符 串 “num”; 5) 第 18 个 字 节 为 第 二 个 map 对 象 value 值 的 前 绥 
字 节 (CD) 表 明 其 后 紧 跟 2 个 字 节 的 无 符号 整数 。 第 19-20 个 字 节 则 以 大 端 模式 表示 数字 1331; 
6) 第 21 个 字 节 表示 第 三 个 map 对 和 象 的 key 值 前 级 字 节 (A8)， 表 明 紧 跟 8 个 字符 串 。 第 22-29 
字 节 使 用 ASCII 表 示 字 符 串 “descript*”; 7) 3330447 (AF) 为 第 三 个 map 对 象 的 value 值 的 
WAZ 〈A5)， 表 明 后 续 紧 跟 15 个 字符 串 。 第 31-45 字 节 表 示 字 符 串 “inthefirstnicks”。 
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83 AS 6E 61 6D 65 73 A5 7A 68 61 6E 67 
str 人 Str n 
length5 D a M è s length5 7 hang 

A3 6E 75 6D CD 05 33 

str uintl6 1331 


length3 nr U m 


A8 64 65 73 63 72 60 70 74 | AF 69 6E 74 68 65 66 69 72 73 74 6E 69 63 6B 73 


Fi = = 
str de script sr FD thefirs tnieks 


length 8 length 15 


图 2 MSGP-M 对 JSON 格式 中 key-value 值 编码 之 后 的 逻辑 图 
Fig. 2 Logic diagram after MSGP-M encodes the key-value in JSON format 
1 2 3 45 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 


83 A5 6E 61 6D 65 73 A5 7A 68 61 6E 67A36E 75 6DCD 05 33 A8 64 65 


24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 
[73 63 72 60 70 74 AF 69 6E 74 68 65 66 69 72 73 74 6E 69 63 6B 73 | 


图 3 MSGP-M 对 JSON 格式 中 key-value 值 编码 之 后 的 字 节 流 图 


Fig. 3 MSGP-M encodes byte stream after the key-value in the JSON format 

第 二 种 使 用 Msgpack 编 码 JSON 格 式 中 的 value 值 一 一 序列 化 结果 以 数组 表示 。 这 种 方式 的 
Msgpack 可 缩写 成 MSGP-D。 

MSGP-D 编 码 图 1 的 JSON 格 式 后 , 分 别 对 应 图 4 的 逻辑 图 和 图 5 的 字 节 流 图 , 包括 4 部 分 : 1) 
第 1 个 字 节 〈0X93) 表示 后 续 包 含 3 个 array 对 象 ， 2) 第 2 个 字 节 〈0OXA5) 表示 其 后 有 5 个 字 
符 串 。 第 3-7 字 节 使 用 ASCI 表 示 字 符 串 “zhang”; 3) 第 8 个 字 节 (OXCD) 表明 其 后 包含 一 个 
16 位 无 符号 整数 。 第 9-16 字 节 以 大 端 模 式 的 二 进 制 形 式 表 示 数 字 1331; 4) 第 11 字 节 (0XAF) 
后 续 紧 跟 15 个 字符 串 。 第 12-26 字 节 则 以 ASCH 表 示 字 符 串 “inthefirstnicks”。 


93 AS 7A 68 61 6E 67 
Object str 7 . 
(3 entries) length5 7 aon g 
CD 05 33 
uintl6 1331 
AF | | 69 6E 74 68 65 66 69 72 73 74 6E 69 63 6B 73 | 


str 
length1l5 i n t he f iors t n ie ks 


图 4 MSGP-D X} JSON 格式 中 value 值 编码 后 的 逻辑 图 


Fig.4 Logic diagram after MSGP-D encodes value in JSON format 
12 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 


93 A5 7A 68 61 6E 67 CD05 33 AF 69 6E 74 68 65 66 69 72 73 74 6E 69 63 6B 73 


| 5 MSGP-D 对 JSON 格式 中 value 值 编码 后 的 字 节 流 图 


Fig.5 MSGP-D encodes byte stream of the value in the JSON format 
1.2 Protobuf 
Protobuf (PB) 是 一 款 开源 ， 支 持 多 语言 、 路 平台 ， 提 供 接口 描述 语言 ADL) 的 二 进 制 
序列 化 工具 。PB 编 码 传输 信息 时 ， 需 定义 IDL 的 键 和 字段 〈 数 据 类 型 ) ， 以 生成 指定 编程 语 
言 代 码 ， 如 ，C++、Python 等 。 使 用 PB 编码 数据 后 ， 得 到 的 字 节 流 由 键 、 前 级 字 节 和 数据 字 
节 组 成 。 键 分 为 标记 数字 和 标记 类 型 。 标 记 数 字 将 常用 (或 重复 ) 元 素 标 记 为 1~15， 而 不 常 
用 元 素 标 记 为 16~2047; 标记 类 型 包括 string、float 等 。 键 可 对 IDL 文 件 中 的 数据 类 型 进行 唯 
一 标记 一 一 标记 后 的 数据 类 型 不 能 更 改 。 
图 6 和 图 7 分 别 为 PB 编码 图 1 的 JSON 数 据 之 后 得 到 的 逻辑 图 和 字 节 流 图 。 其 中 ， 字 节 流 占 
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用 空间 为 27 字 节 ， 由 3 个 步骤 组 成 : 1) 第 1 个 字 节 (0A) 中 的 第 2 位 到 第 5 位 (0001) 为 数字 
标记 ， 后 三 位 (010) 表示 数据 类 型 为 string; 第 2 个 字 节 〈05) 表示 后 续 包含 5 个 string 对 象 。 
第 3-7 字 节 以 ASCII 的 形式 表示 字符 串 “zhang”; 2) 第 8 个 字 节 (10) 表示 后 续 包含 一 个 整 型 
的 数据 。 第 9-10 个 字 节 是 以 小 端 模 式 表 示 16 位 的 无 符号 整数 1331; 3) 第 11 个 字 节 (10) 表 
示 后 续 包含 字符 串 。 第 12 个 字 节 (0F〉 则 表示 后 续 有 15 个 字符 串 。 第 13-27 字 节 表 示 字 符 串 


“inthefirstnicks”。 
0 人 


[olo0o0011| 010] [05] [7A 68 61 6E 67 | 


field tag=1 type 2 (string) length 5 zhang 


l 0 
0}0 010) 00 0 B3 14 


field tag=2 type 0 (variant) 1331 


l A 
0/0 011|/ 010 OF 69 6E 74 68 65 66 69 72 73 74 6E 69 63 6B 73 
field tag=3 type 2 (string) length 15 i n t he f ir s t n 1 ¢ k s 


图 6 Protobuf 对 JSON 格式 中 value 值 编码 后 的 逻辑 图 


Fig. 6 Logic diagram after Protobuf encodes value in JSON format 
12 3 45 67 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 


0A 05 7A 68 61 6E 67 10 B3 14 1A OF 69 6E 74 68 65 66 69 72 73 74 6E 69 63 6B 73 


图 7 Protobuf 对 JSON 格式 中 value 值 编码 后 的 字 节 流 图 


Fig. 7 Protobuf encodes the result of value in JSON format 

1.3 Flatbuffers 

Flatbuffers (FB) 是 一 款 文 持 多 语言 、 跨 平台 ， 提 供 IDL 的 二 进 制 序 列 化 工具 。FB 具 备 民 
好 的 兼容 性 ， 如 ， 系 统 添加 新 功能 时 ， 新 字段 只 能 在 IDL 文 件 末 尾 添加 ， 且 旧 字 段 仍 会 正常 
读 取 ; 数据 在 内 存 中 的 格式 与 编码 格式 一 致 ， 反 序列 化 过 程 支持 “ 零 找 贝 ", 便于 快速 读 取 数 
据 。FB 序 列 化 字 节 流 包 括 int、string 等 标量 和 struct、table 等 矢量 。 标 量 由 固定 长 度 的 以 小 端 
模式 表示 的 整 型 (8 位 ~64 位 ) 和 浮 点 型 构成 ; 矢量 则 由 字符 串 和 数组 构成 ， 开 头 必 须 是 一 个 
32 位 长 度 的 VECTOR SIZE 来 指明 矢量 长 度 一 一 不 包括 \0? 和 本 身 占用 空间 大 小 。 其 中 ,学 符 
串 和 数组 的 唯一 区 别 是 字符 串 包含 一 个 结束 符 ^\0’。 


1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 


[10 00 00 00 | 00 00 [0A 00] 10 00 [04 00 [08 00] 0C 00] 0A 00 00 00 
L 


. — e 
root offset align vtable size ` offsetage ` offset names vtable offset 


root table object size offset descript 
21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 


20 00 00 00] 33 05 00 00 | 04 00 00 00] OF 00 00 00169 6E 74 68] 
—_ OS ee ee ae 7 ` 
int offset 1331 string offset string length i n t h 


41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 5758 59 60 6l 62 


65 66 69 72 73 74 6E 69 63 6B 73 0 |05 00 00 00 |7A 68 61 6E 67 0 00 


et T 
e f irs t n i c k s \0 stringlength n i c k s \O 


图 8 Flatbuffers 对 JSON 格式 中 value 值 编码 后 的 字 节 流 图 


Fig. 8 Flatbuffers encodes the byte stream of the value in JSON format 
图 8 为 FB 编码 图 1 中 数据 的 结果 ， 字 节 流 占用 空间 大 小 为 62 字 节 ， 由 7 部 分 组 成 : 1) 第 1~4 
字 节 root offset (10 00 00 00 为 根 偏 移 量 ， 它 偏 移 16 个 字 节 之 后 为 编码 数据 。 第 5-6 字 节 align 
(00 00) 具有 填充 作用 ; 2) 第 7~8 字 节 vtable size (OA 00) 为 表 vtable 的 字 节 大 小 。 它 包括 
vtable size, object size. offset num, offset descript 和 offset names 占 用 的 空间 大 小 。 第 9~10 字 
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节 object size( 10 00) 表 示 在 表 中 存储 数据 占用 的 空间 偏 移 大 小 , 它 包 括 vtable offset. int offset. 
1331 和 string offset。 第 11~12 字 节 offset num (04 00) 表示 num 在 字 节 流 中 的 位 置 ， offset 只 
需 移动 4 个 字 节 便 能 找到 num 的 偏 移 量 。 第 13~14 字 节 offset descript (08 00) 为 descript 的 位 置 ， 
通过 vtable offset 和 int offset 便 能 找到 descript 的 位 置 。 第 15~16 字 节 offset name (OC 00) 表示 
vtable offset, int offset 和 string offset 之 后 为 name 对 象 ; 3) 第 17~20 字 节 vtable offset (OA 00 00 
00) 与 vtable size 具 有 相同 的 大 小 ， 唯 一 区 别 是 后 者 占 2 个 字 节 。 第 21~28 字 节 分 别 表示 num 
的 前 绥 和 以 小 端 模式 表示 的 数字 1331。 第 29~32 字 节 (OF 00 00 00) 表示 后 续 类 型 为 string。 
第 33~36 字 节 COF 00 00 00) 表明 后 续 包含 15 个 字符 串 。 第 37-52 字 节 中 包含 15 个 以 ASCII 表 
示 的 “inthefirstnicks" 和 一 个 结束 字符 '\0"。 第 53-62 字 节 与 第 33~52 字 节 的 编码 原理 相同 。 
1.4 编码 原理 分 析 与 对 比 

对 于 三 款 二 进 制 序列 化 工具 ，Msgpack 不 使 用 IDL 来 预先 设置 数据 结构 ， 可 手动 编写 字段 ， 
有 具 有 两 种 编码 方式 ; Protobuf 和 Flatbuffers 在 IDL 中 定义 传输 的 信息 字段 ， 使 用 IDL 编 译 器 生 
成 对 应 的 编程 语言 接口 ， 且 只 有 一 种 编码 方式 。 三 款 二 进 制 序列 化 工具 的 编码 原理 不 同 ， 编 
码 之 后 的 字 节 流 占用 空间 大 小 不 同 。Msgpack 编 码 的 字 节 流 只 有 头 字 节 ， 以 及 一 一 对 应 的 前 
级 字 节 和 数据 字 节 。Protobuf 的 字 节 流 中 包含 一 一 对 应 的 键 、 前 级 字 节 和 数据 字 节 。 其 中 ， 
只 有 数据 类 型 使 用 键 和 数据 字 节 。Flatbuffers 序 列 化 之 后 的 字 节 流 与 数据 在 内 存 中 的 存储 格 
式 一 致 。Flatbuffers 字 节 流 中 不 仅 包 括 前 绥 字 节 和 数据 字 节 ， 还 包括 root offset, object size, 
vtable offset 等 不 能 表示 内 容 的 字 节 。 对 同一 数据 格式 编码 ，MSGP-M 序 列 化 JSON 格 式 的 全 
部 数据 ， 占 用 空间 大 。MSGP-D 编 码 之 后 的 字 节 流 占 用 空间 最 小 ， 字 节 流 不 用 于 表示 信息 的 
只 有 头 字 节 和 前 级 字 节 。Protobuf 占 用 的 空间 稍 大 ， 字 节 流 中 不 能 表达 数据 信息 只 包含 一 一 
对 应 的 键 和 前 级 字 节 。Flatbuffers 占 用 空间 大 ， 字 节 流 中 包含 大 量 不 能 表达 数据 的 信息 。 


2 实验 结果 与 分 析 


~ 


“TelStatus": { 

"AzFlag": @, "ElFlag": @, "“TimeFlag": 8, "ServerF1ag": 8, “PositionFlag": 9, "Az": 

54.321345, "El": 44.321345, “AzRotation”: 1, "ElRotation": 1, 

"AzSpeed": @.4234, "ElSpeed": @.2345, "AzDiff": 1.23455, "ElDiff": 2.12456, 

"AzLimit": @, "ElLimit": ©, "Track": © }, 

"Weather": { 

"Status": 1, 

"Date": "2020-10-01 12:23:34.2000", 

“WindTower": {"one": [@.232, 230],"“two":[@.3321, 230], “three”: [@.4332, 230],"four”: 

[@.4921, 230], "five":[@.6112, 230],"six":[@.7021, 230], "seven": [@.832, 230], 

"eight": [0.9431, 230], “nine”: [1.232, 23],"ten":[1.5321, 230], "eleven": [1.862, 230] 

»"twelve":[2.3321, 230]}, 

“MeteoroInstrument": { 
"Temperature": 23.43, "Pressure": 840.543, “Humidity”: @.3567, "Speed": 3.21, 
"Dir": 32.3213}, 

"Plot": { 
"SpeedRose": [1.322689, @.241007, 2.210769, 3.381295, 1.353786, 0.224426, ©. 
064588, 1.285891, 0.436123, 1.435216, 9.180438, 1.169811, 1.194245, 0.230022, 3. 
083807, 0.183219], 
“DirRose": [@.122689, 0.041007, 0.010769, 0.081295, 9.053786, 0.024426, 0.064588, 
@.085891, 0.036123, 0.035216, 6.080438, 0.069811, 0.094245, 8.030022, 0.083807, @. 
03219]} 


图 9 射电 望远镜 系统 之 间 的 数据 传输 格式 
Fig. 9 Data transmission format between radio telescope systems 


Msgpack、Protobuf 和 Flatbuffers 不 仪 运 行 于 Linux、Windows 等 操作 系统 ， 还 支持 C、C++、 


Python 等 编程 语言 。 然 而 ， 控 制 系统 开发 往往 使 用 多 种 编程 语言 ， 其 中 ，C、C++ 用 于 底层 
驱动 程序 开发 和 通信 ; Python 用 于 服务 端的 开发 以 及 天 文学 家 对 数据 进行 处 理 等 。 因 此 ， 对 
于 三 款 二 进 制 序列 化 工具 的 测试 ， 测 试 环境 的 CPU 为 2.0GHz 的 Intel Core 这 -4750， 内 存 为 
8GB, 操作 系统 为 Ubuntu 16.04。 编译 环境 的 GCC 版 本 为 5.3.1, Python 版 本 为 3.7.3。MSsgpack、 
Flatbuffers 和 Protobuf 的 版 本 分 别 为 1.2.1、1.1.0 和 3.7.1。 

图 9 为 一 个 数据 交换 格式 的 展示 , 所 传输 的 信息 为 控制 系统 中 射电 望远镜 的 状态 信息 编码 。 
“TelStatus ”为 射电 望远镜 的 状态 信息 ， 主 要 包括 天 线 方 位 标签 “AzFlag”、 天 线 俯仰 标签 
“ElIFlag”、 子 系统 时 间 标 签 “TimeFlag”、 望 远 镜 状态 标签 “ServerFlag”、 天 线 所 处 位 置 
标签 “PositionFlag” 等 。“Weather” 表 示 天 文 台 站 周围 的 气象 信息 ， 如 ， 和 气象 设备 状态 、 
日 期 、 风 塔 、 气 象 仪器 和 风 玫 瑰 图 。“WindTower” 阐 述 气 象 仪 器 的 温度 、 气 压 、 湿 度 、 风 
速 、 风 向 等 五 要 素 。“Plot” 表 示 风 玫瑰 图 用 以 统计 台 站 周围 一 段 时 期 内 风向 、 风 速 等 。 控 
制 系统 只 对 传输 的 数据 进行 一 次 编 解码 。 由 于 传输 的 数据 中 包含 浮 点 型 和 双 精 度 型 数据 , 编 
码 之 后 的 数据 在 控制 系统 中 不 能 以 ASCI 编 码 传输 。 是 因为 下 面 以 图 9 为 例 ， 使 用 C++ 和 
Python 测试 三 款 二 进 制 序列 化 工具 的 序列 化 数据 大 小 、 序 列 化 时 间 和 CPU 利用 率 。 

2.1 序列 化 数据 大 小 

Msgpack 有 两 种 方式 的 编 解 码 ,， 既 能 编码 和 解码 JSON 格 式 的 key-value 值 ， 又 能 编码 和 解码 
JSON 格 式 中 的 value 值 。 使 用 三 款 二 进 制 序列 化 工具 分 别 测试 图 9 的 数据 ， 得 到 MSGP-M、 
MSGP-D、Protopuf 和 REFlatbuffers 的 字 节 流 大 小 分 别 为 713B、460B、520B、794B 。 因 此 ， 序 
© 列 化 数据 大 小 与 编码 原理 密切 相关 。MSGP-M 较 MSGP-D 占 用 空间 大 ， 是 因为 MSGP-D 只 纺 

码 图 1 中 的 key 值 。MSGP-D 的 字 节 流 表 示 为 一 个 头 字 节 、 一 一 对 应 的 前 级 字 节 和 数据 字 节 ， 
而 Protobuf 的 字 节 流 包含 一 一 对 应 的 键 、 前 级 字 节 和 数据 字 节 。Flatbuffers 占 用 空间 大 是 因为 
= 其 不 仅 编码 key-value 中 的 value 值 ， 还 包括 非 数据 值 ， 如 root offset, int offset. float offset. 


此 ，MSGP-D 比 Protopuf 和 Flatbuffers 输 出 格式 更 紧凑 、 占 用 空间 更 小 。 
= 2.2 序列 化 时 间 
全 Msgpack、Protobuf 和 Flatbuffers 的 编 解码 原理 不 同 ， 使 序列 化 时 间 和 反 序 列 化 时 间 存 在 差 
= 异 。 以 图 9 为 例 ， 三 款 二 进 制 序 列 化 工具 和 迭代 100,000 次 之 后 ， 得 到 它们 的 单 次 平均 序列 化 时 


间 详 见 图 10。MSGP-M (C++) 的 序列 化 时 间 为 22.425 微 秒 ， 反 序列 化 时 间 为 52.491 微 秒 ; 
Python 的 序列 化 时 间 为 1$.566 微 秒 ， 反 序列 化 时 间 为 10.896 微 秒 。 其 中 ，C++ 的 序列 化 时 
一 比 反 序列 化 时 间 短 ，Python 的 序列 化 时 间 比 反 序 列 化 时 间 短 ， 是 因 C++ 的 基本 数据 类 型 多 ， 
© 解码 时 间 长 ,而 Python 基本 类 型 少 、 能 更 好 匹配 key-value 值 ， 解 码 时 间 短 。MSGP-M (C++) 
的 序列 化 时 间 为 22.425 微 秒 较 MSGP-D (C++) M1S.566 IRK, 2&9 MSGP-M fig 224 
人 码 key-value， 而 MSGP-D 只 需 编码 Value 值 。 同 理 ， 解 码 与 编码 的 原理 相似 。Protobuf (C++) 
序列 化 时 间 为 10.514 微 秒 ， 反 序列 化 时 间 为 17.163 微 秒 ，Python 序 列 化 时 间 为 86.506 微 秒 ， 
反 序 列 化 的 时 间 为 62.431 微 秒 ， 两 种 编程 语言 各 自 的 序列 化 和 反 序 列 化 时 间接 近 ， 是 由 PB 
的 IDL 决 定 。Flatbuffers (C++) 序列 化 时 间 为 5.446 微 秒 ， 反 序列 化 时 间 为 0.344 微 秒 ; Python 
的 序列 化 时 间 为 203.718 微 秒 ， 反 序列 化 时 间 为 2.130 微 秒 。Flatbuffers 的 序列 化 时 间 比 反 序 列 
化 时 间 长 ， 是 因为 编码 之 后 的 字 节 流 与 其 在 内 存 中 的 数据 格式 一 致 ， 解 码 不 需要 时 间 ， 只 需 
读 取 IO 的 时 间 。 
从 图 10 中 可 知 ， 对 于 同一 种 三 进 制 序列 化 工具 的 不 同 编程 语言 ，Flatbuffers (C++) 的 序 
列 化 时 间 比 Python 的 序列 化 时 间 快 40 倍 。Protobuf (Python) 的 序列 化 时 间 是 C++ 的 序列 化 时 
间 的 8 倍 以 上 。 MSGP-M 或 MSGP-D 同 一 种 编码 方式 的 CH+ 和 Python 的 序列 化 时 间 与 反 序列 化 
时 间接 近 ， 不 会 因 编 程 语言 的 不 同 造成 序列 化 和 反 序 列 时 间 的 不 平衡 。 
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图 10 三 款 二 进 制 序列 化 工具 的 执行 时 间 
Fig. 10 Execution time for three binary serialization tools 
2.3 CPU 利用 率 


程序 运行 时 CPU 利用 率 的 高 低 会 影响 程序 运行 。 以 图 9 展示 的 数据 为 例 ， 测 试 三 款 二 进 制 
序列 化 工具 得 到 表 1 的 结果 。 从 表 中 可 知 ， 无 论 是 C++ 还 是 Python，Msgpack 编 解码 的 CPU 利 
用 率 均 在 12.4% 左 右 。Protobuf 在 C++ 和 Python 的 CPU 利用 率 也 是 12.4% 。 然 而 ，EFlatbuffers 编 
码 和 解码 的 CPU 利用 率 却 存在 差异 。 在 编码 时 , Flatbuffers 的 Python 的 CPU 利用 率 达 到 25.9%， 
远 高 于 Msgpack 和 Protobuf 编 码 时 C++ 和 Python 的 CPU 利用 率 ; 而 解码 时 ，Flatbuffers 的 CPU 
利用 率 相 比 Msgpack 和 Protobuf 略 低 。 因 此 ，Msgpack 和 Protobuf 适 用 于 服务 端 和 客户 端 内 存 
充足 的 场景 ， 而 Flatbuffers 可 应 用 于 服务 端 内 存 充 足 、 客 户 端 内 存 不 足 的 场景 。 然 而 ， 射 电 
望远镜 控制 系统 在 实际 应 用 中 的 服务 端 和 客户 端 内 存 相 似 ， 在 CPU 利用 率 方面 ，Msgpack 和 
Protobuf 的 总 体 性 能 明显 优 于 Flatbuffers 。 

#1 三 款 二 进 制 序列 化 工具 的 CPU 利用 率 


Table 1 CPU utilization of three binary serialization tools 


MSGP-M MSGP-D Protobuf Flatbuffers 
Name 
C++ Python C++ Python C++ Python C++ Python 
encode CPU usage 12.45% 12.44% 12.38% 12.36% 12.37% 12.57% 12.48% 25.9% 
decode CPU usage 12.5% 12.37% 12.48% 12.4% 12.47% 12.49% 11.82% 12.21% 
3 总 结 


本 文 分 析 和 比较 了 Msgpack、Flatbuffers 和 Protobuf 的 编码 原理 和 特性 ， 并 对 它们 进行 了 测 
试 和 分 析 。Msgpack 不 需要 IDL， 只 需 开 发 人 员 编写 代码 实现 编 解 码 的 功能 ， 而 Flatbuffers 和 
Protobuf 使 用 IDL 对 传输 的 信息 进行 编 解 码 。 它 们 对 同一 信息 编 解码 时 , MSGP-D 字 节 流 的 大 
小 和 多 语言 的 序列 化 时 间 优 于 Protobuf， 且 明显 优 于 Flatbuffers。MSGP-M 对 需求 变化 大 的 小 
数据 编码 具有 优势 ， 它 可 对 同一 数据 以 任意 顺序 的 key-value 数 据 进行 编 解 码 ， 但 Protobuf 和 
Flatbuffers 却 不 能 对 这 种 方式 进行 解码 。 根 据 射电 望远镜 控制 系统 的 开发 情况 ， 当 通信 的 数 
据 格 式 确定 时 ， 可 使 用 MSGP-D; 而 通信 的 数据 格式 变化 较 大 时 ， 可 使 用 MSGP-M。 总 之 ， 
通过 分 析 三 款 二 进 制 序列 化 工具 ，Msgpack 更 适合 射电 望远镜 控制 系统 的 信息 传输 ， 有 助 于 
射电 望远镜 的 硬件 系统 、 软 件 系统 、 操 作 系统 、 编 程 语 言 和 网 络 之 间 的 信息 交换 ， 使 系统 的 
扩展 性 好 ， 移 植 性 强 等 特性 。 
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Abstract: The control system can connect, integrate and manage the software and hardware 
systems of the radio telescope. Serialization tool in the control system encodes and decodes the 
information transmitted between different devices, operating systems, programming languages, 
and networks in the radio telescope, enhancing the efficiency rate of data transmission between 
systems. This article analyzes and compares the coding principles and characteristics of the three 
binary serialization tools Msgpack, Protobuf and Flatbuffers, and tests their serialized data size, 
serialization time, and CPU utilization through an example. The results show that the overall 
performance of Msgpack is better than that of Protobuf and Flatbuffers, and it is suitable for 
encoding and decoding of transmission information between radio telescope systems with long 
periods and variable requirements. 
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